package rdd

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object Spark01_RDD_Memory_Par {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD_File")
    val sc = new SparkContext(sparkConf)
    //    val rdd: RDD[Int] = sc.makeRDD(
    //      List(1, 2, 3, 4), 2
    //    )
    val rdd: RDD[(String, String)] = sc.wholeTextFiles("data/test.txt",3)
    rdd.saveAsTextFile("ddata/output")

    //    textRDD.collect().foreach(println)
    sc.stop()
  }

}
